Offline reinforcement-learning (RL) algorithms learn to make decisions using a given, fixed training dataset without the possibility of additional online data collection. This problem setting is captivating because it holds the promise of utilizing previously collected datasets without any costly or risky interaction with the environment. However, this promise also bears the drawback of this setting. The restricted dataset induces subjective uncertainty because the agent can encounter unfamiliar sequences of states and actions that the training data did not cover. Moreover, inherent system stochasticity further increases uncertainty and aggravates the offline RL problem, preventing the agent from learning an optimal policy. To mitigate the destructive uncertainty effects, we need to balance the aspiration to take reward-maximizing actions with the incurred risk due to incorrect ones. In financial economics, modern portfolio theory (MPT) is a method that risk-averse investors can use to construct diversified portfolios that maximize their returns without unacceptable levels of risk. We integrate MPT into the agent's decision-making process to present a simple-yet-highly-effective risk-aware planning algorithm for offline RL. Our algorithm allows us to systematically account for the \emph{estimated quality} of specific actions and their \emph{estimated risk} due to the uncertainty. We show that our approach can be coupled with the Transformer architecture to yield a state-of-the-art planner for offline RL tasks, maximizing the return while significantly reducing the variance.

我们建议第一个通过对弱的微型计算机进行深入学习的实时语义细分的系统，例如Raspberry Pi Zero Zero V2（其价格\ 15美元）附加到玩具无人机上。特别是，由于Raspberry Pi的重量不到$ 16 $，并且其大小是信用卡的一半，因此我们可以轻松地将其连接到普通的商业DJI Tello玩具器中（<\ $ 100，<90克，98 $ \ \时间$ 92.5 $ \ times $ 41毫米）。结果是可以从板载单眼RGB摄像头（无GPS或LIDAR传感器）实时检测和分类对象的自动无人机（无笔记本电脑或人类）。伴侣视频展示了这款Tello无人机如何扫描实验室的人（例如使用消防员或安全部队）以及在实验室外的空停车位。现有的深度学习解决方案要么在这种物联网设备上实时计算要么太慢，要么提供不切实际的质量结果。我们的主要挑战是设计一个系统，该系统在网络，深度学习平台/框架，压缩技术和压缩比的众多组合中占有最好的选择。为此，我们提供了一种有效的搜索算法，旨在找到最佳组合，从而导致网络运行时间与其准确性/性能之间的最佳权衡。

随着人们对精神危机及其社会影响的认识，在许多国家，提供紧急支持的在线服务变得司空见惯。接受寻求帮助者和提供者之间讨论的培训的计算模型可以通过识别高危个人来支持预防自杀。但是，缺乏特定领域的模型，尤其是在低资源语言中，对自动检测自杀风险构成了重大挑战。我们提出了一个模型，该模型将预训练的语言模型（PLM）与固定的一组手动制作（并经过临床批准）的自杀提示相结合，然后进行了两阶段的微调过程。我们的模型达到了0.91 ROC-AUC和0.55的F2分数，甚至在对话的早期就表现出了一系列强大的基线，这对于该领域的实时检测至关重要。此外，该模型在性别和年龄段之间表现良好。

高能量密度物理（HEDP）实验通常涉及在低密度泡沫内部传播的动态波 - 前。这种效果会影响其密度，因此影响其透明度。泡沫生产中的一个常见问题是产生有缺陷的泡沫。需要有关其尺寸和同质性的准确信息来对泡沫的质量进行分类。因此，这些参数使用3D测量激光共聚焦显微镜进行表征。对于每个泡沫，拍摄五个图像：两张2D图像，代表顶部和底部泡沫平面和3D扫描的侧面横截面的三张图像。专家必须通过图像集进行手动对泡沫质量进行分类的复杂，苛刻和疲惫的工作，然后才能确定是否可以在实验中使用泡沫。目前，质量有两个二元级别的正常与缺陷。同时，通常需要专家来对正常缺陷的子类别进行分类，即有缺陷但可能需要实验的泡沫。由于不确定的判断，该子类是有问题的，这主要是直观的。在这项工作中，我们提出了一种新颖的最先进的多视图深度学习分类模型，该模型通过自动确定泡沫的质量分类并因此有助于专家来模仿物理学家的观点。我们的模型在上表面和下表面泡沫平面上达到了86 \％的精度，整个集合中达到了82 \％，这表明了该问题的有趣启发式方法。这项工作中的一个重大价值是能够回归泡沫质量而不是二进制扣除，甚至可以在视觉上解释该决定。本工作中使用的源代码以及其他相关来源可在以下网址获得：https：//github.com/scientific-computing-lab-nrcn/multi-view-foams.git

在过去的几年中，世界已转向多核和多核共享内存体系结构。结果，通过将共享内存并行化方案引入软件应用程序，越来越需要利用这些体系结构。 OpenMP是实现此类方案的最全面的API，其特征是可读接口。然而，由于平行共享内存的管理中普遍存在的陷阱，将OpenMP引入代码很具有挑战性。为了促进此任务的性能，多年来创建了许多源代码（S2S）编译器，任务是将OpenMP指令自动插入代码。除了对输入格式的鲁棒性有限外，这些编译器仍然无法在定位可行的代码和生成适当指令时获得令人满意的覆盖范围和精确度。在这项工作中，我们建议利用ML技术的最新进展，特别是自然语言处理（NLP），以完全替换S2S编译器。我们创建一个数据库（语料库），专门用于此目标。 Open-Opm包含28,000多个代码片段，其中一半包含OpenMP指令，而另一半根本不需要并行化。我们使用语料库来培训系统来自动对需要并行化的代码段进行分类，并建议单个OpenMP条款。我们为这些任务培训了几个名为Bragformer的变压器模型，并表明它们的表现优于统计训练的基线和自动S2S并行化编译器，这既可以分类OpenMP指令的总体需求，又要介绍私人和还原条款。我们的源代码和数据库可在以下网址获得：https：//github.com/scientific-computing-lab-nrcn/pragformer。

谷歌的运营洪水预测系统是制定的，为机构和公众提供准确的实时洪水警告，重点是河流洪水在大型潮流的河流中。它在2018年开始运作，自从地理位置扩展以来。该预测系统由四个子系统组成：数据验证，阶段预测，淹没建模和警报分配。机器学习用于两个子系统。阶段预测采用长短期内存（LSTM）网络和线性模型进行建模。使用阈值和歧管模型计算洪水淹没，前者计算淹没程度，后者计算淹没程度和深度。本文首次提供的歧管模型提供了一种机器学习替代洪水淹没的液压建模。在评估历史数据时，所有型号都可以实现可操作使用的足够高的度量指标。 LSTM表现出比线性模型更高的技能，而阈值和歧管模型达到了类似的性能度量，以便在淹没程度上进行建模。在2021年的季风季节期间，洪水预警系统在印度和孟加拉国运营，覆盖河流的洪水区，总面积287,000平方公里，拥有350多万人。超过100米的洪水警报被发送给受影响的人口，相关当局以及紧急组织。系统上的当前和未来的工作包括将覆盖范围扩展到额外的洪水易发位置，以及提高建模能力和准确性。

我们为深神经网络提出了一种新的全球压缩框架，它自动分析每个层以识别最佳的每个层压缩比，同时实现所需的整体压缩。我们的算法通过将其通道切入多个组并通过低秩分解来分解每个组来铰接压缩每个卷积（或完全连接）层的想法。在我们的算法的核心处于从Eckart Young MiRSKY定理中推导了层面错误界限的推导。然后，我们利用这些界限将压缩问题框架作为优化问题，我们希望最小化层次的最大压缩误差并提出朝向解决方案的有效算法。我们的实验表明，我们的方法优于各种网络和数据集的现有低级压缩方法。我们认为，我们的结果为未来的全球性能大小的研究开辟了新的途径，即现代神经网络的全球性能大小。我们的代码可在https://github.com/lucaslie/torchprune获得。

KL-regularized reinforcement learning from expert demonstrations has proved successful in improving the sample efficiency of deep reinforcement learning algorithms, allowing them to be applied to challenging physical real-world tasks. However, we show that KL-regularized reinforcement learning with behavioral reference policies derived from expert demonstrations can suffer from pathological training dynamics that can lead to slow, unstable, and suboptimal online learning. We show empirically that the pathology occurs for commonly chosen behavioral policy classes and demonstrate its impact on sample efficiency and online policy performance. Finally, we show that the pathology can be remedied by non-parametric behavioral reference policies and that this allows KL-regularized reinforcement learning to significantly outperform state-of-the-art approaches on a variety of challenging locomotion and dexterous hand manipulation tasks.

Key Point Analysis(KPA) is a relatively new task in NLP that combines summarization and classification by extracting argumentative key points (KPs) for a topic from a collection of texts and categorizing their closeness to the different arguments. In our work, we focus on the legal domain and develop methods that identify and extract KPs from premises derived from texts of judgments. The first method is an adaptation to an existing state-of-the-art method, and the two others are new methods that we developed from scratch. We present our methods and examples of their outputs, as well a comparison between them. The full evaluation of our results is done in the matching task -- match between the generated KPs to arguments (premises).

State-of-the-art language models are often accurate on many question-answering benchmarks with well-defined questions. Yet, in real settings questions are often unanswerable without asking the user for clarifying information. We show that current SotA models often do not ask the user for clarification when presented with imprecise questions and instead provide incorrect answers or "hallucinate". To address this, we introduce CLAM, a framework that first uses the model to detect ambiguous questions, and if an ambiguous question is detected, prompts the model to ask the user for clarification. Furthermore, we show how to construct a scalable and cost-effective automatic evaluation protocol using an oracle language model with privileged information to provide clarifying information. We show that our method achieves a 20.15 percentage point accuracy improvement over SotA on a novel ambiguous question-answering answering data set derived from TriviaQA.